Der kluge Hans

Tauben in der Tumorerkennung

10 Tauben so gut wie ein Pathologe: youtube

KI (AI), Machine Learning, Deep Learning

Deep Learning dominates the current AI wave from ~ 2010 on

Anwendungen

Alle NN bestehen aus Neuronen…

…Mache haben aber mehr Neuronen als andere

Verschiedene Architeckturen…

…aber es ändert sich nicht viel vom der linearen regression zu ChatGPT

Beispiel: ChatGPT

• Art Language Model

  • Input X Sequence (bis zu 8000 Wörter¹)

  • Output Y nächstes Wort (W’keiten)

• Typisches Netz 2020 GPT-3 175’000’000’000 Parameter

Beispiel: Alexnet

• Art Bild Klassifikation

  • Input X Bild z.B. 1024x1024 Pixel

  • Output Y Klasse Label (eines von 1000)

• Typisches Netz 2012 Alex Net 60’000’000 Parameter

Beispiel: GaussNet (Lineare Regression)

• Art Lineare Regresion

  • Input X Zahl (X=alter)

  • Output Y Zahl (Y=Blutdruck)

• Typisches Lineare Regression Gauss (unpublished ~1795), Legendre (1805)

Beispiel Fully Connected NN

• Art fully connected neural network

  • Input X 3 Zahlen Wetter heute (1,0,0)

  • Output 3 Zahlen Wetter morgen (Wahrscheinlichkeiten)

• Typisches Netz Fully Connected NN

Training von NN (Beispiel Bildklassifikation)

Training von ChatGPT

1. Vorhersage des nächsten Worts

   • Muss keine Daten labeln

   • Trainingsdaten “Internet” (common crawl)

   • CO2 äquivalent 120 Auto für ein Jahr

2. Finetuning als Chatbot

Training von NN (Beispiel Blutdruck)

NN 1: Vorhersage des Blutdrucks

Trainingsdaten: Blutdruck von 33 Nordamerikanischen Frauen (ersten 10)

    x   y
1  22 131
2  41 139
3  52 128
4  23 128
5  41 171
6  54 105
7  24 116
8  46 137
9  56 145
10 27 106

dat = transpose(datt)

Q: Welchen Blutdruck schätzen Sie für eine 75 jährige Frau (gegeben den Trainingsdaten)?

Data

function lr(pw){
 return(
  Plot.plot({
  marks: [
    Plot.dot(dat, {x: "x", y: "y"}),
    Plot.line(curve(dat), {x: "x", y: "y"})
  ],
  y: {
    label: "Blutdruck",
    domain: [80,200]
  },
  x: {
    label: "Alter",
    domain: [15,80]
  },
  width: pw,
  height: pw/1.5,
  color: "steelblue"
})
)
} 

function curve(template){
  const ages = template.map(d => d.x);
  const [minAge, maxAge] = d3.extent(ages);
  const xvals = d3.range(minAge, maxAge, (maxAge - minAge) / 100); 
  let yhat = xvals.map(x => w*x + b);
  return xvals.map((x, i) => ({x, y: yhat[i]})); //Thanks ChatGPT
}

lr(800)

Idee?

Lineare Regression

lr(550)

viewof b = Inputs.range([-10, 120], {label: "Intercept", step: 0.1})
viewof w = Inputs.range([-5, 5], {label: "Slope", step: 0.1})
html`<br>y = ${w} &middot; x + ${b}<br>`

Neuronale Netze

Lineare Regression as Neuronales Netz

//Redoing the plot
lr(550)

Inputs.bind(Inputs.range([-10, 120]), viewof b)

Inputs.bind(Inputs.range([-5, 5]), viewof w)

html`<br>y = ${w} &middot; x + ${b}<br>`

function color(value) {
  return  d3.scaleLinear().domain([-1, 0, 1]).range(['blue', 'gray', 'green'])(value);
}
function lw(value) {
  return d3.scaleLinear().domain([-1, 1]).range([0.1, 1])(value);
}

dot`${my_graph}`

my_graph = `digraph {
  node [fontsize=20, fontname=Arial];
  node [fixedsize=true, width=0.6, height=0.6];
  edge [arrowhead=vee, arrowsize=0.7];

  //b -> Y[penwidth=${10*lw(Math.abs(b))}, label=${b}]; //<-- Change the factor here
  b -> Y[penwidth=2, label=${b}];
  x1 -> Y[penwidth=2, label=${w}];
  
  x1 [label="x", pos="0,0"]; 
  b  [label="1", pos="0,2"]; 
  Y  [label="y", pos="1,0.8"]; 
  //x1 [label="x", pos="0,0"];
  //b  [label="1", pos="2,0"];
  //Y  [label="y", pos="1,1"];
}`

NN 2 Wetter in Konstanz

NN 2 Wetter in Konstanz

• Output ist Wahrscheinlichkeit

Training großer Netze

• Lineare regression hat 2 parameter (slider)

• Grosse Netze haben Mio/Mrd parameter

• Training Minimierung einer Verlustfunktion auf den Trainingsdaten

  • Frage: Wie gut sagt das Model die Daten vorher (Maximum Likelihood Prinzip)

  • Algorithmus Backpropagation (Rummelhard)

  • Training von großen Netzten große technoligische Herausforderung

ChatGTP

Principles of ChatGPT

Generating Text (You)

Wahrscheinlichkeiten (des Sprachmodels) für das nächste Wort

• trinken (70%)

• bieremoji (15%)

• oder (10%)

• sonstige kummuliert (5%)

Generating Text (ChatGPT)

Beim Text wird das nächste Wort proportional zur Wahrscheinlichkeit ausgewürfelt.

Beispiel 1

Beispiel 2

Praktische Konsequenzen Prompt Design

[Bitte Schreibe eine Höfliche Absage gehe auf folgende Punkte ein]
Keine Zeit
Mein Name ist Oliver Dürr 

--- Hier E-Mail hinpasten ----

Der Kaiser ist nackt

<<All the impressive achievements of deep learning amount to just curve fitting>>

Juda Pearl, 2018

Transparenz / Interpretation

• Einfach Modelle wie lineare Regression können interpretiert werden.

• Komplexe Modelle oft in den Vorhersagen besser.

• Kombination von einfachen interpretierbaren mit komplexen Modellen¹

  • Beispiel Vorhersage von Hautkrebs

    • Bild Daten mit tiefen NN

    • Alter mit linearer Regression

• Wichtigkeit von bestimmten Eingangsdaten für ein Modelentscheidungen.²

Bias

lr(600)

• Daten bassieren auf 33 nordamerikanischen Frauen
• Nicht übertragbar auf Männer / Assiaten

Bias in Sprachmodellen

Grundproblem Keine Kausalität

Statistische Natur von KI

Fazit

KI ist ein hilfreiches Werkzeug

• Code für Aniationen wurde mit ChatGPT entwickelt

• Viele Nüzliche Anwendungen Medizin, Stromvorhersage,…

Allerdings

• Auch wenn es schwerfällt zu glauben: kein inneres Verständniss¹
• Biased

  • Nur so gut wie Trainingsdaten

  • Schwer (bis unmöglich) bias rauszubekommen

• Intransparent

Weitere Probleme

• Overconfidence

• Nicht robust

• Nicht kausal

Overconfident

Overconfident

Overconfident

Deep Learning für Tumor Erkennung

DL so gut wie PathologInnen …

Zusammenfassungen